VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs
VisionWeave：为多模态大模型原生编织弹性视觉表征
🧭 多模态 LLM 视觉 token 弹性压缩
University of Science and Technology of China · Alibaba Token Hub, Alibaba Group · The Chinese University of Hong Kong · Zhejiang University
提出 VisionWeave，通过 gated spatial pooler 与 granularity router 实现内容自适应视觉 token 压缩，节省 43% token 保持 98.9% 性能
📌 工作参考价值（4 点）
- 多模态商品/广告素材理解中，图片与视频区域信息密度不均，可借鉴 VisionWeave 的内容自适应 token 分配：对背景/空白用 coarse-grained 池化，关键商品区域保留 fine-grained，降低推理成本同时保持识别精度。
- 采用 gated spatial pooler + granularity router 两阶段设计，让模型学习“哪里需要细看、哪里可以粗看”，共享 MRoPE 坐标无需改动位置编码，方便集成到现有视觉 Backbone 和 Serving 框架。
- 使用 self-distillation 训练弹性表示能力，不依赖人工标注 token 重要性，适合业务数据标签稀疏；虽然训练成本高（30K A100 GPU-hours），但推理端吞吐提升 2.3x、TTFT/TPOT 大降，对在线多模态推荐/Agent 服务有直接价值。
- 工程上可复用开源的 SGLang 集成，注意变长 token 输入对批处理与 KV cache 管理的影响，适配电商多图/视频场景可显著提升 GPU 利用率与响应速度。